This paper presents the OPUS ecosystem with a focus on the development of open machine translation models and tools, and their integration into end-user applications, development platforms and professional workflows. We discuss our on-going mission of increasing language coverage and translation quality, and also describe on-going work on the development of modular translation models and speed-optimized compact solutions for real-time translation on regular desktops and small devices.
translated by 谷歌翻译
Recent improvements in conditional generative modeling have made it possible to generate high-quality images from language descriptions alone. We investigate whether these methods can directly address the problem of sequential decision-making. We view decision-making not through the lens of reinforcement learning (RL), but rather through conditional generative modeling. To our surprise, we find that our formulation leads to policies that can outperform existing offline RL approaches across standard benchmarks. By modeling a policy as a return-conditional diffusion model, we illustrate how we may circumvent the need for dynamic programming and subsequently eliminate many of the complexities that come with traditional offline RL. We further demonstrate the advantages of modeling policies as conditional diffusion models by considering two other conditioning variables: constraints and skills. Conditioning on a single constraint or skill during training leads to behaviors at test-time that can satisfy several constraints together or demonstrate a composition of skills. Our results illustrate that conditional generative modeling is a powerful tool for decision-making.
translated by 谷歌翻译
我们提出了一种新的“泊松流”生成模型（PFGM），该模型将高维半球上的均匀分布映射到任何数据分布中。我们将数据点解释为$ z = 0 $超平面上的电荷，在增加额外尺寸$ z $的空间中，产生了高维电场（泊松方程解决方案的梯度）。我们证明，如果这些电荷沿电场线向上流动，则它们在$ z = 0 $平面中的初始分布将变成半径$ r $半球的分布，该分布在$ r \ to \ infty $限制中变成均匀。为了学习徒的转化，我们估计了增强空间中的归一化场。对于采样，我们设计了一种由物理上有意义的附加尺寸锚定的向后ode：当$ z $达到零时，样本击中了未加重的数据歧管。在实验上，PFGM在CIFAR-10上的正常流量模型中实现了当前的最新性能，其成立分数为9.68美元，而FID得分为2.48美元。它还可以与最先进的SDE方法相同，同时提供$ 10 \ times $至$ 20 \ $ 20 \ times $ $加速图像生成任务。此外，PFGM在较弱的网络体系结构上似乎更宽容估计误差，并且对Euler方法中的步骤大小稳健。该代码可在https://github.com/newbeeer/poisson_flow上找到。
translated by 谷歌翻译
连续的软件工程在许多领域已变得司空见惯。但是，在调节需要考虑其他问题的密集部门时，通常认为很难采用连续的开发方法，例如DevOps。在本文中，我们提出了一种将拉力请求用作设计控件的方法，并将这种方法应用于认证的医疗系统中的机器学习，这是一种新颖的技术，这是一种新颖的技术，旨在为机器学习系统增加解释性，作为监管审核跟踪。我们以前曾使用过一种工业系统来证明这种方法，以证明如何以连续的方式开发医疗系统。
translated by 谷歌翻译
当疑问以获得更好的有效精度时，选择性分类允许模型放弃预测（例如，说“我不知道”）。尽管典型的选择性模型平均可以有效地产生更准确的预测，但它们仍可能允许具有很高置信度的错误预测，或者跳过置信度较低的正确预测。提供校准的不确定性估计以及预测（与真实频率相对应的概率）以及具有平均准确的预测一样重要。但是，不确定性估计对于某些输入可能不可靠。在本文中，我们开发了一种新的选择性分类方法，其中我们提出了一种拒绝“不确定”不确定性的示例的方法。通过这样做，我们旨在通过对所接受示例的分布进行{良好校准}的不确定性估计进行预测，这是我们称为选择性校准的属性。我们提出了一个用于学习选择性校准模型的框架，其中训练了单独的选择器网络以改善给定基本模型的选择性校准误差。特别是，我们的工作重点是实现强大的校准，该校准有意地设计为在室外数据上进行测试。我们通过受分配强大的优化启发的训练策略实现了这一目标，在该策略中，我们将模拟输入扰动应用于已知的，内域培训数据。我们证明了方法对多个图像分类和肺癌风险评估任务的经验有效性。
translated by 谷歌翻译
计算抗体设计旨在自动创建与抗原结合的抗体。结合亲和力受3D结合界面的控制，其中抗体残基（角膜膜）与抗原残基（表位）紧密相互作用。因此，预测3D副观察复合物（对接）是找到最佳寄生虫的关键。在本文中，我们提出了一个新模型，称为层状码头和设计的名为层次层次的改进网络（HERN）。在对接过程中，Hern采用层次消息传递网络来预测原子力，并利用它们以迭代性，模棱两可的方式来完善结合复合物。在生成期间，其自动回解码器逐渐扩展了寄生虫，并构建了绑定界面的几何表示，以指导下一个残基选择。我们的结果表明，HERN在伞形对接和设计基准测试方面的先验最先进。
translated by 谷歌翻译
支架结构的构建支持所需的基序，赋予蛋白质功能，显示出对疫苗和酶设计的希望。但是，解决这个主题交易问题的一般解决方案仍然开放。当前的脚手架设计的机器学习技术要么仅限于不切实际的小脚手架（长达20个长度），要么难以生产多种不同的脚手架。我们建议通过E（3） - 等级图神经网络学习各种蛋白质主链结构的分布。我们开发SMCDIFF以有效地从给定主题的条件下从该分布中采样脚手架；我们的算法是从理论上确保从扩散模型中的有条件样品，以大规模计算限制。我们通过与Alphafold2预测的结构保持一致的方式来评估我们设计的骨干。我们表明我们的方法可以（1）最多80个残基的样品支架，以及（2）实现固定基序的结构多样的支架。
translated by 谷歌翻译
分子动力学（MD）模拟是各种科学领域的主力，但受到高计算成本的限制。基于学习的力场在加速AB-Initio MD模拟方面取得了重大进展，但对于许多需要长期MD仿真的现实世界应用程序仍然不够快。在本文中，我们采用了一种不同的机器学习方法，使用图形群集将物理系统粗糙化，并使用图形神经网络使用非常大的时间整合步骤对系统演变进行建模。一个新型的基于分数的GNN改进模块解决了长期模拟不稳定性的长期挑战。尽管仅接受了简短的MD轨迹数据训练，但我们学到的模拟器仍可以推广到看不见的新型系统，并比训练轨迹更长的时间。需要10-100 ns级的长时间动力学的属性可以在多个刻度级的速度上准确恢复，而不是经典的力场。我们证明了方法对两个现实的复杂系统的有效性：（1）隐式溶剂中的单链粗粒聚合物； （2）多组分锂离子聚合物电解质系统。
translated by 谷歌翻译
蛋白质复合物形成是生物学中的核心问题，参与了大部分细胞的过程，以及对应用是必不可少的，例如，药物设计或蛋白质工程。我们解决刚性体蛋白 - 蛋白质对接，即计算地预测来自个体未结合结构的蛋白质 - 蛋白质复合物的3D结构，假设在结合期间蛋白质内没有构象变化。我们设计一种新的成对独立的SE（3）-Quivariant的图形匹配网络，以预测旋转和翻译，以将其中一个蛋白质放置在右对接位置相对于第二蛋白质。我们在数学上保证了基本原理：无论两个结构的初始位置和方向如何，预测复合物都是相同的。我们的模型，名为Equidock，近似于绑定口袋并通过最佳传输和可分辨率的Kabsch算法实现，实现了使用关键点匹配和对准的对接姿势。凭经验，尽管没有依赖于沉重的候选抽样，结构细化或模板，我们才能实现显着的运行时间改进，并且通常优于现有的对接软件。
translated by 谷歌翻译
产生稳定材料的周期性结构是材料设计界的长期挑战。这个任务很难，因为稳定的材料只存在于原子的所有可能的周期性布置的低维子空间中：1）坐标必须位于量子力学限定的局部能量最小，而2）全球稳定性也需要遵循结构不同原子类型之间的复杂，但特定的粘合偏好。现有方法未能纳入这些因素，并且经常缺乏适当的侵略者。我们提出了一种晶体扩散变分性AutoEncoder（CDVAE），其捕获材料稳定性的物理感应偏差。通过从稳定材料的数据分布中学习，解码器在扩散过程中产生材料，其将原子坐标朝向较低能量状态移动并更新原子类型以满足邻居之间的粘接偏好。我们的模型还明确地编码了周期性边界的交互，尊重置换，转换，旋转和周期性修正。我们在三个任务中显着优于过去的方法：1）重建输入结构，2）产生有效，多样化和现实的材料和3）产生优化特定性质的材料。我们还为更广泛的机器学习界提供了几个标准数据集和评估指标。
translated by 谷歌翻译